Trường được thành lập ngày 20 Tháng Sáu năm 1903 theo nghị định của Thống sứ Bắc Kỳ[3] để tập cho các sĩ tử nhà Nguyễn đã thi đỗ cử nhân nhưng còn đợi bổ nhiệm vào chức ngạch. Những người đỗ tú tài cùng các ấm sinh cũng có thể ghi danh nhập học nếu xong được lớp dự bị và qua được đợt thi khảo hạch. Trong thời gian ba năm ở trường Hậu bổ họ học thêm tiếng Pháp cùng một số kiến thức về phép cai trị, đo đạc để ứng dụng khi vào nhiệm sở. Trước khi hết khóa thì lại thi một kỳ nữa, ai điểm cao thì bổ làm tri huyện, thấp thì làm giáo thụ v.v, hàng thất và bát phẩm.

Năm 1912 Trường Hậu bổ Hà Nội đổi thành Trường Sĩ hoạn (École des Mandarins) với phần Hán học đơn giản hơn. Trong khi đó ở Huế thì lập Trường Hậu bổ (Huế) từ năm 1911 tiếp nhận các sĩ tử muốn trau giồi thêm để bổ vào ngạch. Năm 1915 Bắc Kỳ bỏ khoa cử và hai năm sau, năm 1917 Trường Sĩ hoạn cũng bị giải thể. Thay vào đó là Trường Pháp chính Đông Dương (École de Droit et d'Administration) làm nơi đào tạo công chức theo ngạch Tây.[3]

Một vị giáo sư nổi tiếng từng dạy ở trường Hậu bổ là thủ tướng Trần Trọng Kim.